【Doc2Vec:その2】gensimでの実装方法

本記事では実際にgensimを使って文書のベクトル化をしていく方法について記述していきます。

gensimのDoc2Vecの記述方法と学習に使う文書データの2つについて記述していきます。

Pythonの全体コード

というのが全体のプログラムの流れになっています。

gensimがインストールされていてPythonが問題なく動くのなら、data.txtファイルさえ用意していただければすぐに動かせると思います。

解説

対して難しいことはしていませんが、少し解説すると、今回重要となっているのは14行目と17行目にある

の2つです。

14行目の方で学習に使う入力データを指定し、17行目でパラメータを設定して実際に学習を行っています。

14行目は学習データをgensimに沿った単語ごとのリストになっていれば方法は何でも大丈夫ですが、今回は簡単な方法であるテキストファイルに単語を分かち書きしたものを使用した例となっています。分かち書きしたテキストデータの簡単な作り方については後ほど。

17行目のパラメータは他にも指定できるパラメータがいくつかあるので各自で調整と設定をすると良いでしょう。(特に気を付けた方が良いのはvector_sizeで、このパラメータでベクトルの次元数を設定できます。次元数が多いほど細かく分類できますが、データ数が多く必要になる傾向があります)

学習データの作成

今回は分かち書きしたテキストファイルを使用しました。

分かち書きとは単語ごとに区切り、空白等で単語と単語を分けて書く記述方法です。

例えば、”すもももももももものうち”という文を分かち書きした場合は”すもも も もも も もも の うち”となります。

記述方法自体は何も難しいものではありません。文書が1つ2つなら人間が単語ごとに区切り分かち書きしても問題ないと言えます。

しかし、実際に学習を行う場合は数百から数千、もしくはもっと多くの文書で学習を行います。その文書全てを人の手で分かち書きするのはあまりにも非効率的です。

そこで、紹介するのが機械的に分かち書きしたテキストファイルを作成する方法です。

形態素解析で分かち書き

人の手で文書を分かち書きにするのは大変であるので、機械的に分かち書きを行う方法を紹介します。いくつか方法はありますが、一番簡単な方法として挙げられるのが形態素解析を用いて形態素を抽出し、その形態素で分かち書きにするというものです。

形態素解析にはMeCabなどいくつか種類があります。MeCabなどPython上で動かすためのライブラリがある便利なものもあるので、簡単に使うことができます。

※今回実装時にはJavaのKuromojiを用いたのでPythonのMeCabの使い方などは割愛します。